论文 | 基于比例型更新律与分数次幂更新律的多阶段更新框架

近日，分布式人工智能实验室2021级硕士生李子涵、沈栋教授与澳大利亚科学院院士、IEEE Fellow、RMIT大学Xinghuo Yu教授合作的论文“A Multistage Update Rule Framework for Iterative Learning Control Systems”被系统控制领域顶级期刊IEEE Transactions on Automation Science and Engineering接收发表。

☑ 研究背景

迭代学习控制被提出至今，已有四十多年的历史。现有的大部分关于迭代学习控制的研究，都是遵从线性比例型迭代学习更新律的设计与分析方法。比例型迭代学习更新律具有简单的控制结构以及较高的控制精度。然而，其线性更新结构，限制了算法收敛速度以及学习能力的提升，从而限制了算法整体控制性能的改善。课题组李子涵同学、沈栋教授，与RMIT大学Xinghuo Yu教授合作，首次提出了一种分数次幂迭代学习更新律[1]。分数次幂迭代学习更新律本质上是一种非线性迭代学习控制算法，其分数次幂更新结构使得算法在小跟踪误差时的收敛速度与学习能力得到了较大提升。

然而，分数次幂迭代学习控制算法也具有相应的局限性，其主要可以归结为如下两个方面：

1. 分数次幂更新结构提升了算法在小跟踪误差时的更新强度，然而，当跟踪误差足够小时，过强的更新强度导致了算法无法实现对目标轨迹的渐进跟踪，而只能实现跟踪误差有界收敛；

2. 分数次幂更新律强化了算法在小误差时的学习能力，提升了收敛速度；然而，对于大误差情形，分数次幂更新结构却对算法的学习能力起到了削弱的作用，从而抑制了收敛速度的提升。

如何设计一种新的非线性迭代学习控制算法，使得以上两个关键问题得以解决，是一个十分具有理论研究意义与实际应用价值的研究问题。

☑ 研究内容

为了解决以上两个关键问题，我们提出了一种多阶段迭代学习控制算法设计框架，将分数次幂更新律与比例型更新律融合起来，设计了一种切换型的迭代学习控制算法，从而同时实现了算法跟踪误差的渐进收敛以及对大跟踪误差时收敛速度的提升。具体而言，我们考虑了如下线性系统：

并设计了如下多阶段迭代学习控制算法：

其中，

切换点的设计为

该多阶段算法的控制性能提升原理可以归结如下：在跟踪误差较大时，采用比例型更新律来实现误差快速下降；当跟踪误差较小时，切换为分数次幂更新律来实现收敛速度与学习能力的提升；当跟踪误差足够小时，再次切换为比例型更新律来实现高精度跟踪。针对上述多阶段迭代学习控制算法，基于扰动非线性递归分析方法以及数学归纳法，我们证明了如下事实：

1. 对于任意目标跟踪轨迹，该算法可以实现对于目标轨迹的渐进跟踪；

2. 该多阶段迭代学习控制算法不存在Zeno现象。

此外，基于图1，我们还分析了该多阶段迭代学习控制算法的收敛速度，说明了其相较于分数次幂以及比例型迭代学习更新律都具有更明显的速度优势。

图1 多阶段迭代学习控制算法收敛速度提升原理

通过观察算法切换点表达式，我们还发现了一个有趣的事实，即切换点x_2的选取与系统无关，而仅与算法控制参数有关。然而，切换点x_1的选取依赖于系统矩阵cb的信息。因此，为了降低多阶段算法设计对于系统信息的要求，我们进一步考虑了在系统信息未知情形下的参数设计方法，即

其中

同时，严格证明了以上基于不完备系统信息的多阶段迭代学习控制算法的收敛性，并分析了在不同的信息准确度下，算法相应的性能提升效果（见图2）。

图2 不完备系统信息下的多阶段迭代学习控制算法运行原理

此外，由于算法中含有多个待设计的控制参数，因此，我们详细地分析了不同的参数取值对于算法收敛速度的影响，给出了不同性能需求下算法参数选取规则。同时，针对不同参数选取，设计了更加精细的多阶段迭代学习更新律，实现了算法收敛速度与控制效果的进一步提升（以参数γ的选取为例，其取值对于算法性能的影响见图3）。

图3 不同参数取值对算法收敛速度的影响

☑ 仿真与实验

最后，我们通过数值仿真与实物实验验证了所提多阶段迭代学习控制算法的性能优越性。图4分别展示了基于系统信息（上）与系统信息不准确情形（下）所提多阶段迭代学习更新律的加速效果。从图中可以看出，不论系统信息准确与否，多阶段迭代学习更新律都具有比分数次幂以及比例型迭代学习更新律更快的收敛速度，同时可以实现跟踪误差渐进收敛。

图4 基于准确系统信息（上）与不准确系统信息（下）的多阶段迭代学习控制算法加速效果

图5展示了不同增益与分数次幂取值对应的多阶段迭代学习控制算法的收敛效果。从图中可以看到，无论何种取值，多阶段迭代学习控制算法都具有最快的收敛速度，并且，基于不同增益或分数次幂取值，通过设计更加精细的多阶段迭代学习控制算法，可实现对于单增益与单分数次幂取值情形下算法收敛速度的进一步提升。

图5 多增益切换（上）与多分数次幂切换（下）迭代学习更新律加速效果

最后，我们将算法用在三轴机器人系统中（图6），利用三轴机器人追踪目标轨迹，并与传统的比例型算法的控制效果进行对比。从图7中可以看出，对于相同的实验环境，多阶段迭代学习更新律相较于比例型迭代学习更新律少用了60次迭代，就达到了相同的跟踪精度。该实验结果进一步说明了多阶段迭代学习控制算法的加速效果，也验证了所提多阶段设计框架在实际系统中的实用性。

图6 三轴机器人实验平台

图7 算法控制效果

☑ 第一作者

李子涵，中国人民大学数学学院应用数学专业硕士研究生。本科毕业于湖南大学数学学院数学与应用数学专业。主要研究方向包括学习控制与参数辨识。

☑ 期刊简介

IEEE Transactions on Automation Science and Engineering（T-ASE），由国际电子电气工程师协会IEEE主办，报道自动化与计算机领域热点前沿研究成果。T-ASE是中科院期刊分区计算机科学和控制系统类Top期刊，最新影响因子为5.6，2023年CiteScore为10.9，是中国自动化学会（CAA）推荐科技期刊目录中控制理论与控制工程类A+期刊。

☑ 文章信息

Zihan Li, Dong Shen*, Xinghuo Yu. A Multistage Update Rule Framework for Iterative Learning Control Systems. IEEE Transactions on Automation Science and Engineering. DOI: 10.1109/TASE.2024.3369651.

参考文献

[1] Zihan Li, Dong Shen, and Xinghuo Yu, “Enhancing iterative learning control with fractional power update law,” IEEE/CAA J. Autom. Sinica, vol. 10, no. 5, pp. 1137–1149, May 2023.